#deep research

3 篇

PANINI-DR: Controlled Deep Research through Generative Semantic Workspaces

PANINI-DR：基于生成式语义工作区的可控深度研究多智能体框架

🧭 多智能体深度研究 · 结构化验证工作区 ★ 深度解读

University of California, Los Angeles

用共享生成式语义工作区记录子问题依赖与证据，并分离研究/验证，深度研究性能与答案可溯源均领先

📌 工作参考价值（4 点）

将复杂用户问题/购物任务拆成显式 DAG，每个节点带 retrieval hint + answer type + verification claim。对商品属性、价格、库存、政策等事实节点先做 deterministic type 与证据检查，再进入 LLM claim 判断，可显著降低错误传播到推荐/导购决策。
共享 workspace 替代无限增长 dialogue history：把已确认的子问题、证据、review status 存为结构化状态，新子任务只注入相关已确认发现，缓解长上下文中间信息丢失；适合多轮导购/售后 Agent 的状态管理。
增加 observed support 作为上线指标：不只评估最终答案/推荐是否对，还要求可推荐信息能从已保存证据恢复。电商/广告中尤其要区分模型参数记忆与实时检索证据，避免凭“记忆”给出库存/价格/活动文案。
工程上为每个 Researcher 配一个 Reader agent 抽取引用/quote，减少全文档入 context；评估计算成本要按 uncached input/generated tokens，而不是 submitted tokens，因为 vLLM prefix cache 下重复上下文成本被高估。调大 turn allowance 前先测边际收益（20→80 turns 仅 +2.7 点却 2.8× prompt tokens）。

MultiAgent | 2026-10-09 | HF Daily | score 8/10

NTCIR-19 大语言模型自动评估 2（AEOLLM-2）任务综述

🧭 LLM 自动评测 · 长文本深度研究报告

Tsinghua University · Quan Cheng Laboratory · University of Science and Technology Beijing

推出 Deep Research Evaluation 子任务，聚焦 LLM 生成深度研究报告的自动评估，收到 10 队 91 个提交

📌 工作参考价值（4 点）

评估 LLM 生成的商品文案、推荐理由、广告创意等长文本时，先建立人类标注的质量基准，再开发自动评估器并关注与人类打分的一致性（如相关性、事实性、可读性）。
长文本生成评估需要细分维度，不要只给整体分；可参考任务将 deep research 报告质量拆解为多个标注维度，便于定位模型问题。
自动评估器本身要作为系统组件持续迭代：用 human-annotated ground truth 定期回归，关注自动化指标与人类评估的秩相关（Kendall/Spearman），而不是只盯绝对分数。
任务中参赛方法常见 LLM-as-judge 或集成指标，可迁移到业务中做离线文案质量门禁，但需注意长文本事实性错误的检测仍是难点。

Eval | 2026-10-08 | cs.IR | score 6/10

用搜索评分标准训练文档重排序器以支持深度研究智能体

🧭 搜索评分标准引导的文档重排序器训练 ★ 深度解读

中国人民大学 · 腾讯

提出层级式搜索评分标准，指导文档重排序器训练，提升智能体检索质量并减少搜索调用次数

📌 工作参考价值（4 点）

搜索评分标准可迁移至电商/推荐场景：借鉴层级式评估（集合级：相关性、简洁性、一致性；文档级：来源权威性、时效性），为商品搜索词或推荐候选集设计 query-specific 质量 rubrics，直接用于训练重排模型或构造奖励函数。
两阶段训练范式可直接复用：先用教师模型（如强 LLM）按 rubrics 生成伪标签做 SFT 冷启动，再用 GRPO 搭配 rubrics 加权奖励做 RL 微调，这一范式适合商品列表、广告创意列表等需要集合整体优化的排序任务。
rubric 构造方法可提升评估与训练信号质量：用强 LLM 先合成高质量答案，再扩展出细粒度、带权重的评分标准，能够更精准地捕捉集合级别的信息需求（如多样性、覆盖度），这个方法可直接嫁接于推荐系统的离线评估或 RL reward 设计。
文档集级别重排思想可直接用于电商搜索/RAG 系统：不按单个文档相关性排序，而是直接输出一个满足整体质量要求的子集，能够减少冗余、提升证据充分性，可降低后续 Agent 或 LLM 生成回答时所需的搜索步数，改善时延。

RAG | 2026-08-04 | cs.IR | score 8/10